英國深度科技新創公司 Fractile 推出開創性的次世代 AI 推理晶片，透過在單一晶片上整合記憶體與運算單元，號稱可將大型語言模型推理速度提高 25 倍並大幅降低成本，有望解決 AI 運算瓶頸。
英國深度科技新創公司 Fractile 近日發表其開創性的次世代人工智慧（AI）推理晶片，旨在徹底改變大型語言模型（LLM）的運算方式。Fractile 的核心創新在於其處理器設計，能將記憶體與運算單元在同一晶片上進行物理交織，有效突破了傳統記憶體與處理分離所造成的效能瓶頸，大幅提升大型語言模型推理的速度與效率。
這項創新技術克服了傳統 AI 推理晶片在速度與成本上的限制。Fractile 宣稱其處理器執行最先進模型時，速度可達現有解決方案的 25 倍，同時成本僅約十分之一。這使得晶片能以每秒處理數千個 Token，並同時服務數千名用戶，有效解決了當代 AI 發展面臨的關鍵瓶頸——即邊緣模型（frontier model）推理成本高昂且速度有限的問題。
這項效能躍升預計將開拓 AI 的全新可能性，例如顯著延長 AI 模型一次能處理的語境視窗（context window），以及將目前需數日人類作業時間的複雜自主任務，大幅壓縮至數分鐘內完成。Fractile 採行了全堆疊（full-stack）方法，從電晶體層級設計到雲端推理軟體，以期同時提供低延遲與高吞吐量的服務。
這家位於英國布里斯托（Bristol）與倫敦（London）的新創公司，已成功募資 2.2 億美元，投資方包括 Accel、Factorial Funds，以及由彼得·安德烈亞斯·蒂爾（Peter Thiel）共同創立的創始人基金（Founders Fund）等知名機構。Fractile 團隊匯集了硬體、軟體與 AI 系統領域的深厚專業知識，其技術特別適用於大型 AI 實驗室、雲端服務供應商，以及需要針對邊緣模型進行大規模、更快速且更具成本效益推理的企業。